多模态训练后模型能力雪崩，上海AI Lab全面探索MLLM偏好对齐与模态融合
多模态训练后模型能力雪崩，上海AI Lab全面探索MLLM偏好对齐与模态融合在实际应用过程中，闭源模型（GPT-4o）等在回复的全面性、完备性、美观性等方面展示出了不俗的表现。
来自主题: AI技术研报
7130 点击 2025-03-13 10:15
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在实际应用过程中，闭源模型（GPT-4o）等在回复的全面性、完备性、美观性等方面展示出了不俗的表现。
只要微调模型生成的前8-32个词，就能让大模型推理能力达到和传统监督训练一样的水平？
在 ICLR 2025 中，来自南洋理工大学 S-Lab、上海 AI Lab、北京大学以及香港大学的研究者提出的基于 Flow Matching 技术的全新 3D 生成框架 GaussianAnything，针对现有问题引入了一种交互式的点云结构化潜空间，实现了可扩展的、高质量的 3D 生成，并支持几何-纹理解耦生成与可控编辑能力。
回顾 AGI 的爆发，从最初的 pre-training (model/data) scaling，到 post-training (SFT/RLHF) scaling，再到 reasoning (RL) scaling，找到正确的 scaling 维度始终是问题的本质。
与3D物理环境交互、适应不同机器人形态并执行复杂任务的通用操作策略，一直是机器人领域的长期追求。
DeepSeek R1 催化了 reasoning model 的竞争：在过去的一个月里，头部 AI labs 已经发布了三个 SOTA reasoning models：OpenAI 的 o3-mini 和deep research， xAI 的 Grok 3 和 Anthropic 的 Claude 3.7 Sonnet。
Karpathy发出灵魂拷问，评估AI究竟该看哪些指标？答案或许就藏在经典游戏里！最近，加州大学圣迭戈分校Hao AI Lab用超级马里奥等评测AI智能体，Claude 3.7结果令人瞠目结舌。
近日，上海 AI Lab 具身智能中心研究团队在机器人控制领域取得了最新突破，提出的 HoST（Humanoid Standing-up Control）算法，成功让人形机器人在多种复杂环境中实现了自主站起，并展现出强大的抗干扰能力。
Llama都在用的RoPE（旋转位置嵌入）被扩展到视频领域，长视频理解和检索更强了。
传统的偏好对⻬⽅法，如基于⼈类反馈的强化学习（RLHF）和直接偏好优化（DPO），依赖于训练过程中的模型参数更新，但在⾯对不断变化的数据和需求时，缺乏⾜够的灵活性来适应这些变化。